触觉 二 维 图 像 识 别 中 2D-3D 空间 信息 转换 的 认 知 机 制 
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摘要 可 触摸 的 触觉 二 维 图 像 是 视觉 障碍 人 和 群 获取 图 像 信息 的 重要 方式 。 目 前 大 多 数 触觉 二 
维 图 像 都 是 直接 由 视觉 二 维 图 像 转化 为 的 可 触摸 线条 图 。 在 视觉 二 维 图 像 中 , 通常 运用 透视 
和 视角 等 视觉 原理 将 三 维 空间 关系 转换 为 二 维 平面 关系 。 视 觉 系 统 经 过 长 期 大 量 知觉 学 

习 得 了 这 种 二 维 到 三 维 的 映射 关系 。 但 是 触觉 识别 二 维 图 像 时 , 触觉 系统 如 何 建立 二 维 平面 
与 三 维 空间 的 映射 ， 目 前 尚 有 竺 进一步 的 研究 。 影 响 触 觉 识别 二 维 图 像 中 二 维 -三 维 空间 信 
县 转换 的 视觉 因素 主要 有 透视 、 视 角 、 遮 挡 、 纹 理 梯 度 和 铁 空 ， 直 接 将 视觉 二 维 图 像 转 化 为 
的 触觉 二 维 图 像 时 ,图像 中 包含 的 上 述 视 觉 因 素 通 常会 干扰 触觉 识别 。 结合 已 有 研究 ， 试图 
提出 “ 双 表 象 加 工 模型 ” 来 解释 触摸 二 维 图 像 时 二 维 到 三 维 空间 信息 转换 的 认 知 机 制 。 该 模 
型 认为 触觉 识别 二 维 图 像 依 赖 于 两 个 表象 系统 的 整合 ， 即 物体 表象 系统 《〈 涉 及 物体 的 大 小 、 
形状 和 纹理 ) 与 空间 表象 系统 〈 涉 及 物体 的 空间 关系 、 透 视 和 视角 )。 两 种 表象 系统 的 信息 
最 终 进行 整合 , 在 物体 表象 和 空间 表象 成 功 匹 配 的 基础 上 建立 二 维 图 像 与 三 维 空间 之 间 的 映 
射 ,通达 长 时 记忆 中 的 三 维 物体 表征 。 双 表象 加 工 模型 将 有 助 于 我 们 深入 认识 触 知觉 的 认 知 
机 制 ， 也 将 为 触觉 二 维 图 像 的 设计 提供 理论 依据 。 

关键 词 触觉 ， 二 维 图 像 ， 触 觉 识 别 ， 透 视 ， 视 角 


触觉 对 于 人 类 和 动物 的 生存 具有 不 可 替代 的 作用 ,包括 人 类 在 内 的 灵 长 类 动物 在 用 手 抓 
取 物 体 时 , 获取 触觉 信息 为 使 用 和 操作 物体 服务 (Sathian, 2016), 并 通过 触感 影响 触摸 物体 时 


的 情绪 体验 (Kitada et al., 2021; Pasqualotto et al., 2020; Yasaka et al., 2019)。 大 脑 通 过 多 个 感 
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通道 接收 信息 ， 并 将 其 整合 形成 多 模 态 表征 (Lacey & Sathian, 2014; Perini et al, 2020), fE 

无 法 充分 获取 视觉 信息 的 情况 下 ,比如 视觉 受 损 或 者 处 于 黑暗 环境 , 触觉 是 视觉 的 重要 替代 
感觉 (Toprak et al., 2018). 

据 统计 ，2020 年 全 球 共有 3.99 亿 低 视力 人 群 , 其 中 包括 7090 万 完全 丧失 视力 的 视觉 障 

碍 人 群 (Flaxman etal.,2017)， 视 觉 障碍 人 和 群 学 习 诸 如 几何 、 艺 术 和 地 理 等 依赖 视觉 信息 的 知 


识 时 ， 需 要 使 用 触觉 二 维 (two-dimensional, 2D) 图 像 (Bara et al., 2018; Cavazos Quero et al., 
2021; Szubielska et al., 2019)。 近 年 来 出 现 的 电子 触觉 显示 器 可 以 实时 、 动 态 地 显示 可 触摸 的 
二 维 图 像 ， 甚 至 可 能 帮助 视觉 障碍 人 群 使 用 互联 网 (Kim etal., 2019; 焦 阳 等 ,2016; 卢 纯 福 ， 
宗 先 信 , 2017)。 专 门 为 触觉 二 维 图 像 研究 开发 的 多 点 触 控 交 互 式 数据 分 析 系 统 ， 可 以 捕 提 、 
分 析 、 编 码 和 解释 用 户 在 执行 触觉 任务 时 的 行为 (Garcia et al., 2020)。 但 是 ， 目 前 这 些 产 品 生 
成 的 二 维 平面 图 像 ， 都 是 基于 视觉 原理 来 呈现 三 维 (three-dimensional, 3D) 物体 和 场景 ， 通 
常 运用 大 量 视觉 因素 , 尤其 是 视觉 单眼 线索 (主要 包括 透视 、 视角、 遮挡 、 纹理 梯度 和 镁 空 )， 
来 表达 深度 和 立体 信息 (Lebreton, 2016)， 将 三 维 空间 关系 转换 为 二 维 平 面 关 系 。 虽 然 视觉 系 
统 经 过 大 量 知觉 学 习 (Zhang & Li, 2020; 王 葛 彤 等 ,2020)， 可 以 习 得 二 维 与 三 维 的 空间 关系 
映射 ,但 是 有 研究 发 现 蒙 眼 明 眼 人 和 视 障 者 通过 触觉 识别 自然 物体 的 二 维 线条 图 的 正确 率 只 


有 30% 至 40% (Sinha & Kalia, 2012)， 因 此 诸如 透视 和 视角 等 这 些 视觉 因素 可 能 阻碍 触觉 识 
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别 , 不 能 直接 迁移 到 触觉 二 维 图 像 设 计 (Bauer etal., 2015; 化 江涛 55,2018; 於 文苑 等 ,2019)， 
这 导致 传统 的 纸 质 触觉 图 像 教具 及 其 制作 设备 的 使 用 率 较 低 ( 焦 阳 等 ,2016)。 由 此 可 见 ， 虽 
然 触觉 二 维 图 像 的 制作 技术 日 至 成 熟 , 但 是 触觉 识别 二 维 图 像 时 , 如何 建 立 三维 空 间 与 基于 
视觉 原理 的 二 维 空间 之 间 的 映射， 目前 尚 不 清楚 ， 如何 更 好 地 设计 触觉 二 维 图 像 ， 以 及 如 何 
有 效 地 帮助 视觉 障碍 人 群 提 高 触觉 识别 二 维 图 像 的 绩效 , Un e PAPER RE. Db, DER 
影响 触觉 识别 三 维 图 像 的 视觉 因素 不 仅 对 认识 触 知觉 的 认 知 机 制 具有 重要 意义 ,也 可 以 为 触 
觉 二 维 图 像 的 设计 提供 理论 指导 和 建议 。 

本 文 围绕 触觉 二 维 图 像 识别 中 的 二 维 -三 维 (2D-3D) 空间 信息 转换 这 一 主题 ， 以 透视 和 
视角 等 反映 二 维 与 三 维 空间 关系 映射 的 视觉 模 态 特有 因素 为 切入 点 ,综述 了 它们 对 触觉 识别 
二 维 图 像 的 影响 ， 并 分 析 其 发 挥 作用 的 认 知 神经 机 制 。 结合 已 有 研究 ， 本 文 提 出 触觉 识别 二 
维 图 像 的 “ 双 表 和 象 加 工 模型 ”用 于 解释 触觉 识别 二 维 图 像 的 认 知 过 程 中 ， 触 觉 系统 如 何 建 
大 二 维 平面 与 三 维 空间 的 映射 。 在 该 模型 中 ,通过 触觉 感知 的 信息 分 别 形成 物体 表象 〈 涉 及 
物体 的 大 小 、 形 状 和 纹理 ) 和 空间 表象 〈 涉 及 物体 的 空间 关系 、 透 视 和 视角 )， 触 觉 识 别 二 
维 图 像 需 要 依赖 这 两 种 表象 系统 的 有 效 整 合 , 成 功 匹 配 物体 表象 和 空间 表象 ,建立 二 维 图 像 


与 三 维 物体 表征 之 间 的 上 映射， 通达 长 时 记忆 中 的 三 维 物体 表征 ， 实 现 触 觉 二 维 图 像 的 识别 。 
最 后 ， 本 文 进一步 总 结 了 未 来 研究 吸 需 解决 的 问题 ， 以 及 需要 关注 的 研究 方向 。 


1 影响 触觉 2D-3D 空间 信息 转换 的 视觉 因素 


以 往 研 究 中 涉及 到 的 影响 二 维 图 像 触觉 识别 的 因素 可 大 致 分 为 两 类 : 第 一 类 是 二 维 图 像 


的 特征 ， 如 图 像 中 的 纹理 (Nguyen et al., 2018; Thompson et al., 2006; Theurel et al., 2013)、 透 


视 (Gong et al., 2020; Lebaz. et al., 2012; Lederman et al., 1990; yL 等 , 2018)、 视 角 (Heller 

et al., 2002) 和 图 像 的 复杂 度 (Yu et al., 2017); 第 二 类 是 触摸 者 的 个 体 因素 ， 缺 乏 触 觉 经 验 、 

对 图 像 的 熟悉 度 低 以 及 盲人 缺乏 视觉 经 验 等 都 会 导致 个 体 难 以 触觉 识别 二 维 图 像 Lederman 

q et al., 1990; Mazella et al., 2018; Overvliet & Krampe, 2018)。 由 于 现 有 的 触觉 二 维 图 像 都 是 基 

= 于 视觉 原理 生成 的 平面 图 像 , 遵循 平面 视觉 显示 的 原理 和 特性 , 而 这 些 原 理 和 特性 可 能 并 不 
适用 于 触 知 觉 ， 因 此 本 文 主要 探讨 影响 触觉 2D-3D 空间 信息 转换 的 视觉 因素 。 

影响 触 知觉 的 视觉 因素 主要 是 在 二 维 平面 上 用 来 表达 三 维 空间 的 深度 和 立体 信息 的 视 

觉 单眼 线索 ， 主 要 包括 透视 、 视 角 、 和 让 挡 、 纹 理 梯度 和 匀 空 等 (Lebreton, 2016)。 当 在 二 维 平 

面 上 呈现 三 维 物 体 和 场景 时 , 现 有 的 呈现 方式 几乎 都 是 基于 上 述 视觉 原理 来 表达 深度 和 立体 

TE. 虽然 外 界 物 体 投射 到 视网膜 上 的 成 像 是 二 维 图 像 , 但 是 视觉 系统 通过 双眼 视差 和 单眼 

线索 ， 以 及 大 量 的 知觉 学 习 和 了 眼 手 协调 交互 , 可 以 快速 、 有 效 地 获取 事物 的 深度 信息 和 三 维 

立体 特征 (Zhang & Li, 2020; 王 葛 彤 等 ,2020)。 但 是 ， 人 们 缺乏 通过 触觉 将 二 维 平面 中 的 深 

度 信息 转换 为 三 维 空间 的 经 验 (Klatzky & Lederman, 2011)， 因 此 可 能 难以 获得 二 维 图 像 中 表 


© 达 的 深度 信息 (Heller et al., 2006; Nguyen et al., 2018)。 
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三 维 物体 照片 二 维 线条 图 
(a) 透视 


三 维 物 体 照片 二 维 线条 图 


(c) FRA Cd) 遮挡 Ce) 纹理 梯度 


图 1 视觉 单眼 线索 图 例 


如 图 lar. 透视 是 在 两 维 的 平面 上 利用 线 和 面 趋向 会 合 的 视觉 原理 表现 三 维 物体 和 
立体 空间 ， 是 最 重要 的 单眼 线索 ,与 视角 密切 相关 ， 提供 了 物体 的 三 维 视角 。 对 于 同一 个 三 
维 物体 ， 在 不 同 视角 呈现 的 二 维 图 像 存在 不 同 ， 彼 此 之 间 所 表现 出 的 物体 旋转 角度 的 变化 ， 
势必 会 涉及 透视 关系 的 变化 (Heller et al., 2006). Al lb 展示 了 六 棱柱 二 维 线条 图 中 的 三 种 视 


角 , 包括 顶部 视角 、 三 维 视角 和 正面 视角 ， 其 中 顶部 视角 和 正面 视角 无 法 展示 六 楼 柱 的 三 维 
空间 信息 ， 而 利用 了 透视 关系 的 三 维 视角 可 以 表达 六 棱柱 的 三 维 空间 信息 。 除 了 透视 外 , EE 


空 、 遮 挡 和 纹理 梯度 也 是 获取 深度 信息 的 单眼 线索 〈 见 图 1)。 在 三 维 物体 中 ， 铂 空 是 指 去 
除 物体 的 内 部 , 在 物体 中 留 出 空间 ， 当 铁 空 的 三 维 物体 变 成 二 维 线条 图 (如 图 lc 所 示 ) 时 ， 
通过 触摸 线条 图 难以 理解 其 中 狂 空 部 分 的 信息 。 遮 挡 ( 也 称 为 重 登 ) 提 供 了 物体 空间 位 置 的 前 
后 和 远近 信息 ， 被 遮 住 部 位 的 信息 需要 知觉 进行 填充 (Lebreton, 2016)。 二 维 图 像 中 的 遮挡 线 
索 是 视觉 模 态 下 特有 的 空间 表象 方式 , 但 是 仅 靠 触摸 很 难 分 辨 出 相互 重 登 部 分 的 远近 , 也 无 
法 将 被 遮挡 住 的 部 分 填充 。 如 图 1d 中 的 樱桃 ， 视 觉 观 看 时 人 们 很 容易 理解 是 三 个 互相 重合 
的 樱桃 ， 但 触觉 触摸 时 容易 将 三 个 樱桃 知觉 为 一 个 物体 。 纹 理 梯度 是 指 随 着 距离 变化 ,物体 


表面 纹理 在 近 处 稀疏 、 远 处 密集 〈 见 图 le). 


上 述 视觉 因素 ， 其 中 视角 和 透视 目前 在 触 知觉 领域 研究 相对 较 多 ， 而 遮挡 、 铁 空 和 纹理 
梯度 目前 少 有 人 关注 , 仅 有 个 别 研究 考察 了 纹理 梯度 对 触觉 识别 二 维 图 像 的 影响 , 发 现 适当 


的 纹理 可 以 促进 触觉 识别 二 维 图 像 的 识别 绩效 (Nguyen et al., 2018; Thompson et al., 2006; 


Theurel et al.,2013)。 例 如 ， 通 过 纹理 信息 来 表达 图 像 的 深度 信息 有 利于 触觉 的 识别 ， 


在 二 维 


图 像 中 对 物体 的 不 同 面 使 用 不 同 的 纹理 ， 可 以 为 触觉 感知 提供 物体 的 空间 信息 (Thompson et 
al., 2006)。 将 整个 物体 形状 轮廓 浮 起 制作 二 维 图 像 后 ， 再 添加 物体 的 细节 纹理 ， 其 触觉 的 识 
别 绩效 比 仅 有 线条 图 和 仅 有 形状 轮廓 无 纹理 的 二 维 图 像 都 高 (Theurel et al., 2013)。 根 据 物体 
每 个 部 分 距离 观察 者 的 远近 ， 改 变 物体 线条 的 粗细 ， 离 观察 者 越 近 线条 越 粗 ， 以 此 增加 深度 
信息 ， 也 可 以 提高 触觉 识别 二 维 图 像 的 绩效 (Nguyen et al., 2018)。 对 于 视觉 模 态 ， 透 视 、 视 
角 、 让 挡 、 纹 理 梯 度 和 匀 空 这 类 单眼 线索 运用 在 二 维 图 像 中 可 以 提供 物体 的 深度 信息 , 但 是 
如 果 这 些 线索 没有 通过 类 似 上 述 的 特殊 处 理 , 那么 对 于 触觉 模 态 , 这 些 线索 则 可 能 会 干扰 二 
维 图 像 的 触觉 识别 〈Gong et al., 2020). 

触觉 识别 二 维 图 像 的 过 程 ， 是 将 触觉 感知 到 的 二 维 图 像 所 建构 生成 的 三 维 心理 表征 与 
头脑 中 的 三 维 物体 概念 表征 进行 匹配 的 过 程 。 相 比 之 下 , 触觉 识别 三 维 物体 相对 于 触觉 识别 
二 维 图 像 则 少 了 从 二 维 到 三 维 的 映射 和 建构 过 程 ,讨论 视角 对 触觉 识别 三 维 物体 的 影响 ,也 
可 能 对 我 们 进一步 了 解 视角 和 透视 在 触觉 识别 二 维 图 像 中 的 作用 有 所 启发 。 下 面 , 本 文 首 先 
介绍 视角 对 触觉 识别 三 维 物体 的 影响 ， 然 后 着 重 讨论 透视 和 视角 对 触觉 识别 二 维 图 像 的 影 
响 。 


Sy 


1.1 视角 对 触觉 识别 三 维 物体 的 影响 


E 视 知 觉 存在 物体 恒 常 现象 (Qian & Petrov, 2016)， 物 体 依 赖 于 视角 的 信息 和 独立 于 视角 
x 的 信息 会 被 同时 编码 (Tarr & Hayward, 2017)。 触 觉 模 态 也 存在 物体 恒 常 现象 ， 当 触觉 识别 三 
维 物体 时 ， 人 们 需要 整合 一 个 物体 的 多 个 触觉 角度 ， 即 来 自 不 同 手 和 不 同 手指 的 触觉 信息 
从 而 形成 物体 表征 ， 用 于 物体 的 定位 、 识 别 和 操作 (Heed et al., 2015; Yau et al., 2016)。 这 种 
手 部 触摸 的 角度 在 以 往 研 究 中 也 被 称 为 “视角 ”由 于 双手 能 同时 从 不 同 角 度 触摸 物体 ， 所 
以 直觉 上 触觉 识别 三 维 物体 应 该 是 视角 独立 的 。 但 是 , 研究 发 现 明 眼 人 触觉 识别 三 维 人 造 几 
何 物体 时 存在 视角 偏好 。 当 物体 正 对 被 试 的 一 面 用 布 遮盖 ， 只 能 触摸 背 对 被 试 的 那 一 面 时 ， 
这 种 背面 视角 条 件 相 对 正面 视角 (物体 背 对 被 试 的 那 一 面 被 布 遮盖 ,被 试 只 能 触摸 正 对 自己 
的 那 一 面 ) 物体 识别 绩效 更 好 (Newell et al., 2001)。 即 使 允许 蒙 眼 明 眼 人 对 物体 的 多 个 表 
进行 更 全 面 的 触觉 探测 ， 当 要 求 匹配 的 物体 发 生 了 视角 的 旋转 ,触觉 识别 仍然 受到 视角 变化 
的 干扰 (Lacey etal.,2007)。 研 究 者 认为 这 可 能 是 由 于 人 们 惯用 的 触摸 方式 是 拇指 不 动 ， 其 它 
四 根 手 指 探索 , 这 种 限制 使 得 触觉 探测 偏向 于 物体 的 背 对 被 试 的 “视角 ”(Lacey etal.,2007)。 
上 述 两 项 研究 采用 的 都 是 人 造 几 何 物体 ， 可 能 是 因为 人 们 对 这 类 物体 不 熟悉 ， 因 而 导 


致 识别 受到 视角 影响 (Woods et al., 2008)。 因 此 有 研究 对 比 了 熟悉 的 三 维 
马 、 玩 具 房 子 ) 与 人 造 几 何 物体 的 触觉 识别 ， 发现 对 于 


物体 例如， 玩具 
不 熟悉 的 三 维 物 体 ， 蒙 眼 明 眼 人 在 触 


觉 模 态 和 视觉 模 态 的 物体 识别 都 受到 物体 视角 变化 的 影响 , 即 都 是 视角 依赖 ; 对 于 熟悉 的 三 
维 物体 ， 蒙 眼 明 眼 人 的 触 党 识别 不 受 物 体 视角 变化 的 影响 ,， 即 视角 独立 (Woods et al., 2008). 


pi 


Ta 


果 蒙 眼 明 眼 人 对 不 熟悉 的 三 维 几 何 物体 进行 一 定 的 触觉 学 


再 受 视角 的 干扰 (Lacey et al., 2009). 


与 蒙 眼 明 眼 人 触觉 识别 人 造 几何 物体 的 视角 依赖 相反 ,早期 盲 


习 , 对 其 进行 触觉 识别 也 可 以 不 


人 (early blind, EB, =Z% 


以 前 就 失明 的 盲人 ) 对 人 造 几何 物体 的 触觉 识别 是 视角 独立 的 (Occelli et al., 2016). 由 此 可 见 ， 


蒙 眼 明 眼 人 的 触觉 


三 维 物体 识别 是 否 依赖 于 视角 , 取决 于 对 物体 的 熟悉 度 ， 而 视 障 者 的 触觉 


三 维 物体 识别 是 视角 独立 的 ， 与 物体 的 熟悉 度 无 关 。 蒙 眼 明 眼 人 与 视 障 者 在 这 方面 的 差异 ， 


可 能 是 因为 视 障 者 缺乏 视觉 经 验 , 导致 在 触摸 和 加 工 物体 信 ， 


间 关 系 (Occelli et al., 2016)， 同 时 


{a 


征 的 触觉 识别 ， 因 此 对 于 不 熟悉 的 三 维 物体 ， 更 容易 受到 视角 变化 的 干扰 。 


1.2 透视 和 视角 对 触觉 识别 二 维 图 像 的 影响 


二 维 图 像 中 的 透视 信息 , 可 以 在 视觉 上 提供 三 维 


物 


乱 时 更 关注 物体 各 部 分 之 间 的 空 

有 可 能 是 因为 视 障 者 的 触觉 经 验 更 丰富 ， 可 以 更 有 效 地 
获取 物体 各 部 分 之 间 空 间 关 系 的 触觉 信息 。 如 Withagen 等 人 (2013) 在 触觉 识别 三 维 
研究 中 发 现 ， 成 年 视 障 者 的 触觉 探索 策略 比 视 障 儿 童 更 成 熟 ， 识 别 绩效 更 好 。 但 是 ， 对 于 蒙 
眼 明 眼 人 , 可 能 无 法 像 视 障 者 那样 有 效 地 获取 空间 关系 的 触觉 信息 , 相对 更 加 依赖 于 物体 特 


体 的 


物体 的 高 度 、 宽 度 、 深度 和 视角 信息 。 


物体 视角 变化 会 影响 透视 的 表达 。 目前， 有 关 透 视 和 视角 影响 二 维 图 像 触觉 识别 的 研究 发 现 


主要 有 以 下 四 个 方面 。 


第 一 ， 透 视 关 系 产生 的 三 维 视角 会 干扰 二 维 图 像 的 触觉 识别 。 在 触觉 识别 自然 物体 的 
二 维 线条 图 时 , 相对 于 不 具有 透视 信息 的 二 维 线条 图 , 蒙 眼 明 眼 人 对 含有 透视 信息 的 二 维 线 
条 图 的 识别 绩效 更 低 (Gong et al., 2020; Lebaz. et al., 2012; Lederman et al., 1990; 蕉 江涛 等 
2018)。 这 表明 自然 物体 二 维 图 像 中 包含 的 透视 关系 会 干扰 对 其 的 触觉 识别 。 这 可 能 


深度 信息 的 理解 ,但 却 增 加 了 触觉 二 维 


具有 强烈 透视 感 的 图 像 , 包含 了 物体 多 个 面 的 三 维 视角 的 图 像 ， 虽 然 这 可 以 加 深 视觉 
图 像 的 复杂 度 , 在 一 定 程度 上 会 造成 触觉 识别 的 障碍 。 


对 


因为 
图 像 


与 上 述 研究 发 现 相 一 致 , 实践 领域 积累 的 经 验 也 认为 通过 触觉 很 难 识别 二 维 图 像 中 的 透视 关 


Ro PIM, IKKE 


文 权威 指南 (Authority, 2010) 认 为 视 障 人 和 群 缺乏 视觉 经 验 ， 很 难 理解 


一 维 图 


像 中 的 透视 线索 ， 因 此 建议 除非 明确 需要 ， 和 否则 透视 应 该 从 触觉 图 像 中 移 除 。 

第 二 ， 触 觉 识别 三 维 物体 的 二 维 图 像 时 ， 存 在 视角 偏好 。 当 通过 触觉 从 4 张 二 维 图 像 
中 选 出 与 目标 三 维 几 何 物体 一 致 的 图 像 时 , 蒙 眼 明 眼 人 (Heller et al., 2002) 8I Ej. A (Heller et al., 
2006) 都 是 俯视 视角 的 识别 绩效 最 好 ;， 当 从 4 张 视角 不 同 的 、 但 物体 相同 的 二 维 房 屋 图 像 中 
找 出 指定 的 视角 的 二 维 图 像 时 , 低 视 力 被 试 和 盲人 被 试 都 是 二 维 图 像 为 俯视 视角 时 的 绩效 最 
好 (Heller et al., 2009)。 这 两 项 研究 表明 二 维 图 像 的 触觉 识别 会 受到 视角 的 影响 ， 出 现 俯 视 视 
角 的 识别 优势 可 能 是 因为 Heller 等 人 (Heller et al., 2009) 在 这 些 研究 中 使 用 的 三 维 物体 在 俯 
视 视角 下 能 提供 最 多 的 空间 关系 信息 和 物体 特征 , 例如 柱状 几何 体 的 独特 顶部 和 房屋 的 独特 
屋顶 可 以 提供 最 佳 的 辨别 信息 。 然 而 , 视角 的 优势 效应 受到 刺激 类 型 和 任务 难度 的 影响 ， 当 
触摸 的 三 维 物 体 从 简单 几何 体 变 为 复杂 几何 体 时 , 盲人 、 低 视力 和 蒙 眼 明 眼 人 对 俯视 视角 的 
识别 优势 消失 (Heller et al., 2009; Heller et al., 2006)。 目 前 Heller 的 研究 受 限于 使 用 的 三 维 物 
体 的 类 型 , 不 足以 说 明 触觉 识别 二 维 物体 的 最 佳 视角 是 俯视 视角 , 不 同类 别 的 物体 可 能 存在 
不 同 的 优势 视角 。 在 触觉 识别 日 常生 活 常见 物体 (如 苹果 、 裤 子 和 剪刀 等 ) 二 维 图 像 的 研究 中 ， 
对 称 的 物体 存在 对 称 面 识别 优势 (Gong et al., 2020; Sinha & Kalia, 2012; ÆI 等 , 2018)。 
诸如 蝴蝶 和 裤子 这 类 对 称 物体 , 当 以 对 称 面 呈现 时 , 相对 于 非 对 称 物体 的 二 维 图 像 更 易 识 别 。 
因此 未 来 的 研究 需要 进一步 探究 不 同类 别 的 物体 的 二 维 图 像 可 能 存在 的 视角 偏好 。 
> 第 三 ， 透 视 在 个 别 条 件 下 可 能 会 促进 二 维 图 像 的 触觉 识别 。 例 如 ， 当 要 求 蒙 眼 明 眼 人 
x 从 4 张 二 维 图 像 选 项 中 , 选 出 与 目标 二 维 图 像 中 的 物体 一 致 的 图 像 ， 如 果 目 标 图 像 是 具有 透 
视 的 三 维 视角 ， 则 相对 于 目标 图 像 不 具有 透视 的 三 维 视角 ， 其 识别 绩效 更 好 ; 但 是 如 果 4 个 
rr 备 选项 具有 透视 ， 相 对 于 备 选项 不 具有 透视 ， 这 种 优势 效应 则 不 存在 (Heller et al., 2006). 4 

从 4 张 二 维 图 像 中 选 出 与 复杂 的 三 维 几何 物体 一 致 的 图 像 时 ， 早 期 盲人 的 识别 绩效 也 是 具 

有 透视 的 二 维 图 像 绩 效 最 好 (Heller etal., 2009)。 这 说 明 蒙 眼 明 眼 人 和 盲人 可 以 通过 触觉 理解 
透视 提供 的 物体 各 个 部 件 之 间 的 空间 关系 (Heller et al., 2009; Heller et al., 2006); 当 目 标 二 维 
图 像 具 有 透视 时 出 现 优势 效应 ,可 能 是 因为 透视 提供 了 更 多 的 空间 信息 , 才能 更 好 地 与 备 择 
的 二 维 图 像 进行 匹配 ， 当 目标 是 三 维 物体 时 , 物体 本 身 就 已 经 提供 了 足够 的 空间 信息 ， 所 以 
4 个 备 择 选项 具有 透视 也 可 以 促进 识别 绩效 。 

第 四 ， 通 过 后 天 的 训练 ， 缺 乏 视 觉 经 验 的 视 障 者 能 够 理解 透视 线索 中 的 深度 信息 。 当 
要 求 被 试 将 两 个 木板 形成 的 三 维 夹 角 物 体 与 多 个 不 同 角度 的 夹 角 二 维 图 像 进 行 匹配 时 , 明 眼 
人 、 先 天 盲人 和 后 天 盲人 的 识别 绩效 并 没有 显著 差别 ; 当 要 求 被 试 画 出 触摸 到 的 木板 夹 角 时 ， 


先天 盲人 的 画作 也 呈现 出 符合 三 维 物体 透视 规则 的 二 维 图 像 (Heller et al., 2002)。 有 个 案 研究 


起 


发 现 ， 通过 指导 盲人 进行 后 天 的 练习 ， 可 以 使 其 习 得 透视 规则 ， 并 能 画 出 不 同 角 度 下 三 维 物 
体 具 有 透视 规则 的 二 维 图 像 (Kennedy & Juricevic, 2016). 

以 上 研究 表明 ， 触 觉 识 别 二 维 图 像 存在 视角 偏好 ， 物 体 的 类 别 不 同 偏好 的 视角 也 可 能 
不 同 。 此 外 ， 尽 管 触觉 理解 透视 存在 一 定 难度 ， 但 并 不 是 完全 不 可 理解 。 因 此 有 研究 者 尝试 
在 触觉 二 维 图 像 中 创造 一 些 局 部 线索 以 提示 透视 和 视角 信息 , 正如 前 文 所 述 , 二 维 图 像 中 物 
体 不 同 视 角 的 表面 使 用 不 同 的 纹理 , 在 触觉 上 给 被 试 提供 物体 的 空间 信息 , 可 以 提高 识别 绩 
效 (Thompson et al., 2006); 或 是 根据 物体 每 个 部 分 距离 观察 者 的 远近 , 改变 物体 线条 的 粗细 ， 
离 观 察 者 越 近 线 条 越 粗 , 蒙 眼 明 眼 人 能 有 效 识别 图 像 中 的 透视 和 深度 信息 , 触觉 识别 绩效 显 
著 提高 (Nguyen et al., 2018)。 由 此 可 见 ， 进 一 步 研 究 影响 触觉 识别 二 维 图 像 的 视觉 因素 ， 有 
助 于 改进 触觉 二 维 图 像 的 设计 ， 进 而 提升 触觉 识别 二 维 图 像 的 绩效 。 
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2 触觉 2D-3D 空间 信息 转换 的 神经 基础 


触觉 识别 二 维 图 像 与 触觉 识别 三 维 物体 一 样 , 首先 离 不 开 对 其 中 包含 的 线条 或 物体 表面 
的 朝向 和 曲率 、 纹理 信息 的 触觉 感知 。 目 前 有 关 触 觉 的 神经 机 制 研 究 主要 集中 在 二 维和 三 维 
的 形状 与 纹理 的 触觉 感知 , 但 是 有 关 触 觉 如 何 基于 二 维 图 像 识别 其 中 的 三 维 物 体 和 空间 的 神 
经 基础 尚 缺 乏 相关 研究 。 
触觉 感知 线条 或 物体 表面 的 朝向 和 曲率 与 纹理 的 基础 是 位 于 皮肤 浅 层 、 肌 肉 、 肌 腿 、 关 
节 和 万 带 的 各 种 不 同 的 机 械 感 受 器 , 它们 对 皮肤 变形 和 胶体 运动 做 出 反应 , 产生 触觉 和 本 体 
感觉 ,通过 内 侧 丘 系 通路 传导 至 丘脑 ， 最 终 传 递 至 大 脑 皮 层 的 躯体 感觉 皮层 , 包括 位 于 布 罗 


i HES 1. 2. 3a Al 3b 区 的 初级 躯体 感觉 皮层 (primary somatosensory cortex, S1)#IYK 2 Sp AER 


= 


‘bt, Ez |z (secondary somatosensory cortex, S2)(Delhaye et al., 2018; Yau et al., 2016), "1112 5j 
码 触 觉 刺 激 的 粗糙 度 、 朝 向 、 曲 率 和 形状 (Kitada, 2016); Yau et al., 2016), 3b 区 损伤 会 导致 
触觉 识别 纹理 和 形状 辨别 的 能 力 丧 失 , 2 区 的 损伤 会 导致 无 法 触觉 感知 物体 形状 和 大 小 的 变 
化 (Delhaye et al., 2018). 

目前 有 关 触 觉 神经 基础 的 大 量 研究 发 现 , 触觉 与 视觉 在 表征 物体 信息 的 神经 基础 上 存在 
一 定 的 重合 或 存在 相似 的 模式 (Kitada, 2016; Lacey & Sathian, 2014; Sathian, 2016; Yau et al., 
2016)， 这 表明 触觉 信息 编码 激活 的 神经 网 络 并 不 是 触觉 模 态 特异 的 ， 而 是 与 多 个 感觉 模 态 
相关 联 。 由 于 目前 的 触觉 二 维 图 像 几 乎 都 是 基于 视觉 原理 生成 , 所 以 触觉 识别 二 维 图 像 时 可 
能 更 加 依赖 视觉 系统 的 参与 ， 以 及 视觉 与 触觉 信息 的 整合 ， 因 此 触觉 与 视觉 重合 或 视 -触觉 


跨 模 态 整 合 的 神经 基础 可 以 为 触觉 识别 二 维 图 像 的 神经 机 制 提供 研究 思路 。 
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2.1 触觉 和 视 党 重合 的 神经 基础 


首先 , 触觉 与 视觉 模 态 在 加 工 形状 、 大 小 和 纹理 等 感觉 信息 时 的 神经 基础 存在 较 大 程度 
的 重合 。 人 触觉 和 视觉 识别 物体 形状 的 脑 区 都 涉及 顶 内 沟 (intraparietal sulcus, IPS) 和 外 侧 枕 叶 


(lateral occipital complex, LOC)(Sathian, 2016). LOC 是 视觉 和 触觉 加 工 形状 信息 的 重要 区 域 ， 
在 视觉 研究 中 发 现 视 觉 呈 现 二 维 图 像 和 三 维 物体 (如 工具 、 动 物 、 玩 具 等 ) 时 该 区 域 会 激活 


(Amedietal.,2002)， 在 触觉 研究 中 也 发 现 LOC 在 触摸 三 维 物体 时 会 激活 (Hernandez-Perez et 


al., 2017)， 在 触摸 二 维 字母 图 像 (Stoesz et al., 2003) 和 简单 的 二 维 形状 (如 弯 钩 )(Prather et al., 
2004) 时 激活 。 和 触觉 检测 到 物体 大 小 变化 时 会 激活 项 内 沟 (intraparietal sulcus，IPS) 和 外 侧 前 额 
叶 ， 在 视觉 模 态 也 发 现 了 相似 的 激活 模式 (Perini et al.,2020)。 对 纹理 和 粗糙 度 的 触觉 判断 也 
涉及 视觉 皮层 ， 触 觉 感知 凸 起 圆 点 的 粗糙 度 时 激活 岛 盖 皮层 〈operculo-insular cortex) 和 腹 


MEE Cventral temporal cortex ,VTC)， 触 觉 感知 凸 起 圆 点 的 空间 密度 时 激活 初级 躯体 


感觉 皮层 和 视觉 皮层 (Eck et al., 2016). 

其 次 , 视觉 皮层 参与 触觉 通道 的 二 维 图 像 生成 和 触觉 表象 生成 。 从 未 有 过 视觉 经 验 的 先 
天 盲人 使 用 电子 触摸 笔 绘制 二 维 图 像 时 ， 初 级 视觉 皮层 V1 被 显著 激活 (Likova, 2012)。 蒙 眼 
明 眼 人 和 先天 盲人 通过 触觉 感知 物体 后 ， 在 脑海 中 生成 曾 触 摸 过 的 物体 表象 会 激活 S1， 这 


与 视觉 模 态 的 心理 表象 任务 激活 的 区 域 一 致 (de Borst & de Gelder, 2016; de Borst & de Gelder, 


第 三 , 触觉 工作 记忆 与 视觉 工作 记忆 任务 激活 相同 的 脑 区 。 通 过 触摸 3 个 是 起 线条 组 成 


的 夹 角 来 测量 触觉 工作 记忆 时 ， 额 下 回 (inferior frontal gyrus, IFG)、 后 顶 叶 (posterior parietal 


cortex, PPC)， 以 及 额 中 回 (medial frontal gyri, mFG) 显 著 激活 (Yang et al., 2014)， 其 中 额 下 回 


和 额 中 回 也 参与 触觉 纹理 的 工作 记忆 加 工 (Kaas et ab, 2013)， 上 述 所 有 这 些 脑 区 同时 也 参与 
视觉 工作 记忆 (Yang et al, 2014)。 而 且 进 一 步 的 研究 表明 ， 视 觉 工 作 记 忆 与 触觉 工作 记忆 过 


程 中 的 选择 性 注意 可 能 受到 共享 的 超 模 态 (supramodal〉 控制 加 工 的 调节 (Katus & Eimer, 


2020a)， 但 是 两 者 的 空间 注意 转移 可 能 受到 模 态 特异 性 的 机 制 调控 (Katus & Eimer, 2020b)。 
最 后 ， 当 二 维 图 像 的 加 工 逐 渐 熟 悉 化 时 , 触觉 模 态 和 视觉 模 态 都 会 出 现 相似 的 神经 激活 


模式 。 锚 周 皮 层 (perirhinal cortex, PRC) 是 多 模 态 信息 整合 的 重要 脑 区 , 参与 视 -触觉 信息 整合 


n 


(Cacciamani & Likova, 2016; Holdstock et al., 2009)。 当 使 用 图 像 和 面孔 图 片 进行 视觉 模 态 的 


“新 - 旧 ” 判 断 任务 时 ,“ 旧 刺激 ”对 应 的 鼻 周 皮层 激活 减弱 (Henson et al., 2003); 当 触 觉 感知 
的 二 维 图 像 熟 悉 度 变化 时 也 观察 到 了 鼻 周 皮层 相似 的 激活 减弱 模式 (Cacciamani & Likova, 
2016)。 

上 述 研 究 提示 触觉 加 工 二 维 图 像 的 神经 基础 与 视觉 模 态 存在 较 大 程度 的 重合 
(Desmarais et al., 2017; Lacey & Sathian, 2014; Sathian, 2016)。 两 个 模 态 重合 的 神经 基础 可 能 
表明 两 者 共享 表征 系统 ,但 也 可 能 是 因为 这 些 区 域 是 跨 模 态 感知 觉 的 基础 脑 区 (Cacciamani & 
Likova, 2016)， 因 此 触觉 识别 二 维 图 像 的 神经 机 制 仍 需 进 一 步 的 下 


e 


2.2 触觉 和 视觉 整合 的 神经 基础 


尽管 触觉 模 态 和 视觉 模 态 的 神经 基础 有 一 些 重 合 相 似 之 处 , 但 这 两 个 模 态 在 感知 属性 和 
感知 效率 上 也 存在 差异 , 因此 两 个 模 态 感知 的 信息 也 需要 相互 整合 ,以 避免 因 环 境 复杂 而 造 
成 的 误 判 (Toprak et al., 2018)。 当 认 知 系统 整合 两 个 模 态 的 信息 时 ， 相 对 于 只 有 触觉 模 态 的 


信息 ， 对 信息 的 感知 精度 更 高 (Ernst & Banks, 2002; Toprak et al., 2018; Wan et al., 2020)(Ernst 


& Banks, 2002; Toprak et al., 2017; Wan et al., 2020)， 手 的 触摸 运动 速度 也 更 快 (Camponogara 
& Volcic, 2019). 

腹 侧 通路 和 背 侧 通路 中 的 皮层 区 域 以 前 被 认为 是 专门 加 工 视觉 信息 的 区 域 , 近年 来 发 现 
也 参与 触觉 任务 (Freud et al., 2017; Lacey & Sathian, 2014; Sathian, 2016)。 如 前 文 所 述 ，LOC 
参与 视觉 和 触觉 物体 识别 ，LOC 中 参与 视觉 和 物体 识别 的 特定 区 域 被 称 为 外 侧 枕 叶 触 觉 视 


觉 区 域 Clateral occipital tactile-visual region, 简称 LOtv)， 这 一 区 域 也 被 认为 是 视觉 和 触觉 进 


行 整合 的 区 域 (Lacey & Sathian, 2014). 

成 人 的 大 脑 以 统计 上 最 佳 的 方式 整合 与 物体 相关 的 视觉 和 触觉 信息 , 根据 其 可 靠 性 对 每 
种 感觉 通道 的 信息 进行 加 权 (Emst & Banks, 2002)。 关 于 物体 感知 的 神经 基础 如 何 将 视觉 和 
触觉 感知 整合 为 更 抽象 和 更 有 意义 的 知觉 信息 以 进行 学 习 或 识别 的 神经 机 制 目 前 尚未 彻底 
研究 清楚 。 但 是 有 许多 研究 表明 这 种 整合 能 力 并 非 与 生 俱 来 ,而 是 由 人 在 发 育 过程 中 逐渐 发 
展 学 习 的 结果 , 在 8 岁 之 前 ,人 的 视觉 和 触觉 空间 信息 的 整合 远 非 最 佳 , 到 8 至 10 ZR, 
儿童 的 视觉 和 触觉 整合 才 发 育 得 如 成 年 人 一 样 (Gori et al., 2008)。 先 天 盲人 或 视 障 人 士 虽 然 
经 过 多 年 的 视觉 剥夺 ， 未 能 发 展 多 感觉 通道 整合 , 但 在 视觉 手术 后 ,恢复 视觉 数 月 内 其 视 触 
整合 能 力 就 可 以 发 展 到 成 人 最 佳 水 平 (Senna etal., 2021)。 这 表明 早期 接触 多 感觉 通道 的 信号 
对 于 多 感觉 信息 整合 的 发 展 并 不 是 必 不 可 少 , 即使 经 过 多 年 的 视觉 剥夺 ,仍然 可 以 通过 后 天 


学 习 获得 。 


3 触觉 2D-3D 空间 信息 转换 的 理论 模型 


触觉 识别 二 维 图 像 需要 将 感知 到 的 二 维 平面 信息 建构 为 三 维 物体 和 空间 信息 , 并 与 记忆 
中 的 三 维 物体 表征 进行 匹配 , 因此 如 何 基于 二 维 平面 信息 建构 三 维 物体 和 空间 信息 对 触觉 识 
别 二 维 图 像 非 常 重要 。 此 外 ,触觉 识别 二 维 图 像 受 到 触觉 感觉 通道 容量 的 限制 ,有限 的 通道 
容量 使 触觉 无 法 进行 整体 加 工 ， 而 是 依据 触摸 的 顺序 进行 序列 加 工 (Loomis et al, 1991); 在 
触摸 过 程 中 ,触摸 者 需要 将 触摸 的 信息 (线条 的 朝向 和 曲率 、 大 小 和 纹理 等 ) 暂时 存储 到 工 
作 记 忆 中 ， 与 随后 触摸 的 信息 进行 整合 ， 逐 渐 形 成 完整 的 物体 表征 (Yoshida et al., 2015)， 因 
此 触觉 识别 更 加 依赖 于 工作 记忆 中 实时 更 新 的 物体 表征 ， 需 要 占用 更 多 的 工作 记忆 资源 
(Lacey & Sathian, 2014)。 对 于 明 眼 人 来 说 ， 和 触觉 形成 的 物体 表征 与 视觉 表象 类 似 (Overvliet et 
al.,2013)。 当 触觉 二 维 图 像 中 包含 透视 和 视角 这 些 视觉 因素 时 ， 视 觉 表象 在 触觉 识别 二 维 图 
像 中 的 作用 尤为 重要 。Klatzky 和 Lederman (1988) 最 早 关注 到 表象 在 触觉 识别 二 维 图 像 中 的 
重要 作用 ， 提 出 “表象 调节 模型 ”来 解释 触觉 识别 二 维 图 像 的 认 知 机 制 。 


3.1 表象 调节 模型 


表象 调节 模型 Gmage-mediation model) 认为 触觉 识别 二 维 图 像 是 通过 触觉 感受 器 感知 
图 像 中 的 线条 、 节 点 等 信息 ， 在 大 脑 中 进行 视觉 转换 ， 形 成 视觉 表象 ,然后 视觉 表象 与 大 脑 
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图 2 表象 调节 模型 ( 引 自 (Lederman et al., 1990)) 
表象 调节 模型 (如 图 1 所 示 ) 得 到 了 一 些 研究 证 据 的 支持 ， 例 如 ， 没 有 视觉 经 验 的 先 
天 盲人 的 二 维 图 像 识 别 绩效 低 于 视觉 经 验 丰富 的 蒙 眼 明 眼 人 (Lederman et al., 1990)， 视 觉 表 
象 能 力 高 的 蒙 眼 明 眼 人 识别 绩效 高 于 表象 能 力 低 的 蒙 眼 明 眼 人 (Lebaz. et al.,2012)。 但 是 ,也 


有 研究 发 现 蒙 眼 明 眼 人 与 盲人 的 二 维 图 像 触 觉 识别 绩效 没有 显著 差异 (Heller et al., 2009; 
Lebaz. et al., 2012; Picard et al., 2010)， 这 并 不 支持 表象 调节 模型 的 “视觉 转换 ”和 “视觉 表 


象 ” 机 制 ， 因 为 先天 盲人 几乎 没有 视觉 经 验 ， 如 果 转 化 为 视觉 表象 是 触觉 识别 二 维 图 像 的 必 


要 步骤 ， 那 么 蒙 眼 明 眼 人 的 识别 绩效 应 该 优 于 先天 盲人 。 


3.2 物体 表象 与 空间 表象 


尽 


n 


先天 盲人 几乎 没有 视觉 经 验 , 可 能 无 法 与 明 眼 人 形成 一 样 的 视觉 表象 , 但 是 并 不 意 
味 着 盲人 无 法 形成 表象 。 近 年 来 的 表象 研究 发 现 视觉 表象 可 以 分 为 物体 表象 (objectimagery) 
和 空间 表象 (spatial imagery) 两 个 不 同 的 子 系统 ; 物体 表象 涉及 物体 的 知觉 特征 ， 包 括 物体 的 
形状 、 纹 理 、 颜 色 和 亮度 等 ， 空 间 表 象 涉 及 物体 的 空间 位 置 、 物 体 的 各 组 成 部 分 ， 以 及 各 部 
分 之 间 的 空间 关系 和 形态 变化 等 信息 (Blajenkova et al., 2006; Hóffler et al., 2017; Pearson, 2019; 
Roldan, 2017; Sheldon et al., 2017)。 个 体形 成 表象 时 ， 对 物体 表象 和 空间 表象 的 偏好 存在 差 
异 (Lacey et al., 2011)， 通 过 物体 -空间 表象 问卷 (Object-Spatial Imagers Questionnaire, OSIQ; 
Blajenkova et al., 2006) 可 以 评估 个 体 对 两 种 表象 类 型 的 偏好 和 形成 表象 的 能 力 。 触 觉 系 统 也 
存在 与 视觉 表象 系统 类 似 的 物体 表象 和 空间 表象 子 系统 , 而 且 个 体 对 两 种 表象 类 型 的 偏好 会 
影响 三 维 物体 触觉 信息 的 整合 ， 进 而 影响 对 该 物体 的 触觉 识别 (Lacey etal.,2011)。 前 文 提 到 
对 于 三 维 物体 的 触觉 识别 ， 蒙 眼 明 眼 人 受到 视角 影响 ， 出 现 视角 依赖 ， 盲 人 则 是 视觉 独立 
(Occelli et al, 2016)， 本 文 认 为 这 可 能 是 因为 盲人 缺少 视觉 经 验 ， 可 能 难以 形成 物体 表象 ， 
但 是 言 人 具有 丰富 的 触觉 经 验 , 可 以 根据 触觉 信息 形成 比较 准确 的 空间 表象 , 因此 在 触觉 识 
别 二 维 图 像 时 更 依赖 空间 表象 。 明 眼 人 由 于 具有 丰富 的 视觉 经 验 ， 对 于 熟悉 的 物体 ， 已 经 在 
头脑 中 形成 了 准确 、 丰 富 的 物体 表象 ,因为 在 触觉 识别 二 维 图 像 时 更 依赖 物体 表象 ， 导 致 在 
角度 改变 之 后 ， 很 难 想象 出 物体 的 结构 。 
基于 上 述 分 析 ， 本 文 认 为 触觉 识别 二 维 图 像 的 认 知 过 程 可 能 涉及 物体 表象 和 空间 表象 
这 两 种 不 同 的 表象 加 工 模块 。 虽 然 表 象 调节 模型 可 能 解释 了 一 部 分 触觉 识别 二 维 图 像 的 机 
tj, 但 该 模型 没有 考虑 两 种 表象 类 型 的 加 工 特点 , 以 及 个 体 对 表象 类 型 的 偏好 对 触觉 识别 的 
影响 。 基于 前 人 的 研究 ， 本 文 试图 提出 一 个 区 分 物体 表象 和 空间 表象 加 工 模块 的 双 表 象 加 工 
模型 ， 进 一 步 扩展 和 丰富 触觉 识别 二 维 图 像 的 理论 观点 。 


ini 


3.3 双 表 象 加 工 模型 


针对 触觉 识别 二 维 图 像 的 认 知 机 制 ， 本 文 提出 双 表 象 加 工 模型 (dual-imageryprocessing 
model)， 如 图 2 所 示 。 该 模型 认为 触觉 识别 二 维 图 像 包 括 两 条 表象 加 工 的 模块 ， 一 条 是 基于 
物体 表象 (涉及 物体 的 纹理 、 形 状 和 大 小 ) 的 模块 , 另 一 条 是 基于 空间 表象 (涉及 物体 的 ( 空 
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间 关 系 、 透 视 和 视角 ) 的 模块 ， 触 觉 识 别 二 维 图 像 需 要 依赖 两 个 表象 系统 的 有 效 信息 整合 。 


其 主要 观点 包含 以 下 三 点 : 


第 一 ,“ 触 觉 感知 ”模块 接收 来 自 位 于 皮肤 、 肌 肉 、 肌 有 和 韧带 的 机 械 感 受 器 提供 的 触 


觉 和 本 体感 觉 信息 ， 获 取 物体 的 纹理 、 形 状 和 大 小 信息 ， 并 通过 进一步 的 感觉 整合 ， 进 一 步 


获取 物体 各 个 部 分 的 空间 关系 信息 ， 以 及 透视 和 视角 信息 。 空间 表象 要 通过 进一步 的 感觉 整 
fr. 获取 物体 各 个 部 分 的 空间 关系 信息 后 才能 形成 , 但 并 不 意味 着 空间 表象 在 时 间 上 就 落后 
于 物体 表象 , 二 者 形成 的 先后 顺序 是 依据 当前 执行 的 认 知 任务 决定 ,有 限 的 认 知 资源 会 在 两 


类 表象 之 间 进 行动 态 的 分 配 。 

第 二 , “工作 记忆 ”模块 接收 来 自 “ 触 觉 感知 ”提供 的 物体 信息 纹理、 形状 和 大 小 ) 
主要 形成 二 维 图 像 的 物体 表象 ， 这 一 过 程 构成 基于 物体 表象 的 加 工 子 模块 ,“ 工 作 记忆 ?” 模 
块 接收 空间 信息 《空间 关系 、 透 视 和 视角 ) 主要 形成 二 维 图 像 的 空间 表象 ， 这 一 过 程 构成 基 
于 空间 表象 的 加 工 子 模块 。 

第 三 , 触觉 是 否 能 够 成 功 地 识别 二 维 图 像 , 取决 于 物体 表象 和 空间 表象 两 条 加 工 子 模块 
的 共同 作用 。“ 长 时 记忆 ”模块 中 存储 着 个 体 以 往 的 知识 经 验 和 物体 表征 ， 与 其 他 模块 之 间 
存在 动态 的 、 相 互 的 信息 传递 。 两 种 表象 系统 的 成 功 整 合 需要 在 二 维 图 像 与 三 维 空间 的 映射 
基础 上 对 物体 表象 和 空间 表象 进行 匹配 。 如 果 物 体 表 象 与 空间 表象 之 间 可 以 有 效 整合 , 那么 
促进 个 体 通达 长 时 记忆 中 的 物体 表征 ; 如 果 两 者 不 能 有 效 地 整合 , 则 可 能 导致 无 法 有 效 识别 。 
通过 大 量 触觉 识别 二 维 图 像 的 学 习 和 训练 ， 可 能 会 提升 个 体 触 觉 识 别 二 维 图 像 的 能 
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3 双 表 象 加 工 模型 


虽然 本 文 提 出 的 双 表 象 加 工 模型 仍 有 待 进一步 的 实验 验证 ， 但 是 目前 有 关 蒙 眼 明 眼 人 


和 视 障 者 的 二 维 图 像 触觉 识别 的 研究 结果 可 以 作为 该 模型 的 辅助 证 据 , 该 模型 也 可 以 对 这 些 
研究 结果 进行 初步 解释 。 

首先 ， 双 表象 加 工 模型 可 以 解释 包含 透视 关系 的 二 维 图 像 为 何 更 加 难以 触觉 识别 。 正 
如 前 文 所 述 , 包含 透视 关系 的 三 维 视 角 的 二 维 图 像 通常 会 降低 其 触觉 识别 的 绩效 (Gong et al., 
2020; Lebaz. et al., 2012; Lederman et al., 1990; L 等 , 2018)。 根 据 该 模型 ， 这 可 能 是 因 
为 包含 透视 关系 的 三 维 视角 势必 扭曲 了 三 维 物体 呈现 在 二 维 平面 上 的 侧面 的 形状 , 通过 触觉 
虽然 可 以 获取 线条 之 间 的 空间 关系 , 但 是 可 能 导致 构建 的 空间 表象 与 三 维 物体 本 身 的 形状 不 
一 致 ， 难 以 构建 正确 的 物体 表象 , 无 法 与 长 时 记忆 中 的 物体 表征 成 功 匹 配 , 增加 了 对 二 维 图 
像 识 别 的 难度 。 

其 次 ， 双 表象 加 工 模型 可 以 解释 二 维 图 像 匹 配 时 出 现 的 视角 偏好 。 前 文 所 述 的 视角 偏 
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等 , 2018) 


> If (Gong et al., 2020; Heller et al., 2006; Heller et al., 2009; Sinha & Kalia, 2012; 怒江 涛 


可 能 是 因为 特定 视角 呈现 的 二 维 图 像 可 以 使 触摸 过 程 中 产生 的 物体 表象 和 空间 表象 更 好 地 


= 整合 ， 从 而 导致 该 视角 更 容易 识别 。 例 如 ， 诸 如 蝴蝶 和 裤子 这 类 对 称 物体 ， 当 以 对 称 面 呈现 
N 时 ， 其 物体 表象 和 空间 表象 更 加 一 致 ， 从 而 更 易 整 合 。 

N 最 后 ， 双 表象 加 工 模型 可 以 解决 视觉 经 验 的 争议 。 以 往 研究 对 于 视觉 经 验 在 触觉 识别 
O 二 维 图 像 中 的 作用 一 直 存在 争议 。 有 研究 发 现 盲 人 的 触觉 识别 二 维 图 像 的 绩效 比 明 眼 人 差 


(Cornoldi et al., 2009; Gong et al., 2020; Lederman et al., 1990)， 然 而 ， 也 有 研究 发 现 视 障 者 和 
蒙 眼 明 眼 人 的 绩效 没有 显著 差异 (Heller et al., 2009; Lebaz. et al., 2012; Picard et al., 2010)。 根 
据 双 表象 加 工 模型 , 这 可 能 是 因为 视觉 经 验 也 许 并 不 直接 影响 触觉 识别 二 维 图 像 的 绩效 , 但 
是 却 影 响 个 体 的 表象 能 力 和 表象 偏好 , 进而 导致 触觉 识别 二 维 图 像 的 绩效 出 现 差 异 。 有 研究 
发 现 当 要 求 蒙 眼 明 眼 人 、 早期 盲人 和 晚期 盲人 通过 触觉 记忆 二 维 图 像 并 进行 再 认 测 试 时 , 发 
现 三 类 被 试 的 测试 绩效 存在 显著 差异 ， 而 且 他 们 的 任务 绩效 与 其 表象 能 力 呈 显著 正 相 关 
(Picard et al., 2010)。 此 外 ， 男 一 项 研究 发 现在 触觉 记忆 路 线 图 并 进行 再 认 测 试 时 ， 要 求 辨认 
圆 点 最 后 出 现 位 置 , 蒙 眼 明 眼 人 和 先天 盲人 识别 绩效 无 显著 差异 , 当 要 求 再 认 整 个 路 线 图 时 ， 
蒙 眼 明 眼 人 识别 绩效 更 好 (Cornoldi et al., 2009), 这 可 能 是 因为 明 眼 人 倾向 于 使 用 物体 表象 以 
记忆 整个 路 线 图 来 完成 再 认 测 试 , 而 先天 盲人 倾向 于 使 用 空间 表象 以 记忆 每 个 部 位 的 相对 位 
置 ， 从 而 导致 了 再 认 整 个 路 线 图 时 的 识别 绩效 差异 。 


ut 


4 总 结 与 展望 


本 文 总 结 和 梳理 了 影响 触觉 识别 二 维 图 像 的 主要 视觉 因素 , 并 分 析 了 其 背后 的 可 能 神经 
机 制 ， 提 出 双 表 象 加 工 模型 以 解释 触觉 识别 二 维 图 像 的 认 知 机 制 。 当 前 ， 有 关 触 觉 识 别 二 维 
图 像 的 研究 方兴未艾 ， 未 来 仍 有 大 量 的 科学 问题 和 应 用 难题 吸 待 解决 。 
首先 ， 需 要 对 本 文 提出 的 双 表 象 加 工 模型 进行 系统 的 实验 验证 。 基 于 该 模型 的 观点 ， 以 
往 研究 中 发 现 的 视 障 人 群 与 明 眼 人 在 触觉 识别 二 维 图 像 (甚至 包括 触觉 识别 三 维 物体 ) 中 表 
现 出 的 差异 ,可 能 是 因为 两 者 在 触觉 过 程 中 形成 的 表象 类 型 不 同 。 因此， 未 来 应 考察 视觉 障 
碍 人 群 与 明 眼 人 是 否 存 在 物体 表象 和 空间 表象 的 不 同 偏好 。 目 前 针对 明 眼 人 的 研究 表明 , 视 
觉 表 象 存在 个 体 偏好 ， 不 同 的 表象 偏好 会 影响 物体 表征 的 整合 (Sathian et al., 2011)。 那 么 视 
> 障 群 体 中 先天 盲人 、 早 期 盲人 以 及 晚期 盲人 之 间 是 否 也 存在 差异 , 以 及 盲人 与 明 眼 人 之 间 是 
否 存 在 群体 差异 ,这 一 问题 尚 不 明确 。 此 外 ,目前 考察 触觉 表象 能 力 的 研究 大 多 是 通过 自我 


c 报告 问卷 进行 测量 (Pearson, 2019)， 这 样 测 出 的 触觉 表象 能 力 不 一 定 可 靠 。 视 觉 表象 的 生动 
cd 程度 不 是 一 个 固定 的 特征 ， 而 是 可 能 时 刻 动态 变化 , 通过 脑 成 像 技术 检测 包括 感知 觉 和 整个 
ed 视觉 系统 重合 程度 在 内 的 整个 大 脑 网 络 的 活动 可 以 测量 这 些 变 化 (Bergmann et al., 2016; 
e Dijkstra et al., 2017; Pearson, 2019)。 结 合 前 文 提 到 的 视觉 和 触觉 的 物体 表象 和 物体 属性 的 神 
e 经 基础 模式 存在 一 定 的 重合 (Desmarais et al., 2017; Lacey & Sathian, 2014; Sathian, 2016), fiii 


Va 


成 像 技术 检测 大 脑 活 跃 网 络 也 可 以 用 来 测量 触觉 表象 的 生动 程度 。 
其 次 ,未 来 的 研究 需要 进一步 探讨 本 文 提 出 的 双 表 象 加 工 模型 如 何在 实践 领域 指导 视 障 


< 二 甫 助 设备 中 二 维 图 像 的 设计 和 触觉 引导 。 近 年 来 ， 随 着 触觉 电子 显示 技术 的 发 展 ， 触 觉 二 维 


图 像 的 设计 和 呈现 迫切 需要 相关 认 知 机 制 的 研究 作 指导 。 双 表象 加 工 模型 将 触觉 二 维 图 像 的 
识别 过 程 分 离 为 物体 表象 和 空间 表象 加 工 两 个 模块 , 提示 未 来 实践 领域 可 以 分 别针 对 物体 表 
象 和 空间 表象 加 工 进 行 设计 构思 , 通过 突出 物体 的 诊断 性 形状 结构 (如 物体 的 典型 视角 形状 、 
对 称 性 结构 等 ) 来 促进 物体 表征 模块 ,通过 不 同 粗细 和 密度 的 线条 提示 透视 、 视 角 、 遮 挡 或 
者 镁 空 信息 ， 进 而 促进 空间 表象 模块 的 加 工 。 未 来 需要 基于 该 模型 的 观点 ， 针 对 实践 领域 的 
具体 问题 开展 验证 性 研究 和 应 用 研究 , 提出 具有 可 操作 性 的 设计 和 引导 用 户 进行 触觉 感知 的 
指导 原则 。 同 时 ， 相 关 应 用 研究 也 可 能 反 过 来 对 触觉 二 维 图 像 的 认 知 机 制 研究 提供 启发 和 帮 
助 。 


第 三 , 视 障 者 缺乏 的 视觉 经 验 是 否 可 以 通过 大 量 的 触觉 学 习 进行 弥补 , 从 而 使 其 更 好 地 
认识 透视 和 视角 关系 , 将 二 维 图 像 与 三 维 物体 之 间 建 立 映射 联系 , 仍 有 待 进一步 的 研究 。 前 


chinaXiv:202202.00051 v1 


人 研究 表明 触觉 学 习 和 训练 对 触觉 识别 二 维 图 像 (Vinter et al., 2018; Vinter et al., 2020) = 4 
物体 (Laceyetal.,2009) 都 有 促进 作用 。 未 来 研究 应 关注 触觉 学 习 是 否 能 将 二 维 透视 图 像 与 不 
同 视 角 的 三 维 物 体 建立 映射 , 最 终 实 现 视角 独立 的 触觉 识别 ; 关注 触觉 学 习 是 否 可 以 在 二 维 
图 像 的 透视 与 三 维 物体 的 视角 之 间 建 立 联系 ， 消 除 透视 对 触觉 识别 二 维 图 像 的 影响 。 

最 后 , 未 来 也 应 该 关注 相关 领域 的 发 展 心理 学 问题 。 已 有 研究 发 现 练习 可 以 增强 儿童 对 


二 维 图 像 的 触觉 识别 能 力 (Overvliet & Krampe, 2018; Vinter et al., 2018; Vinter et al., 2020)， 触 


觉 二 维 图 像 识 别 能 力 随 着 年 龄 的 增长 而 提高 QMazella et al., 2018; Withagen etal.,2013). 但 是 ， 
目前 关于 触觉 二 维 图 像 识别 能 力 的 年 龄 差异 由 何 种 原因 导致 , 仍 不 清楚 。 这 种 识别 能 力 的 差 
异 可 能 是 因为 成 人 的 触觉 探索 策略 比 儿 童 成 熟 (Withagen et al., 2013)， 也 有 可 能 是 因为 儿童 
和 成 人 的 空间 参照 系 和 工作 记忆 容量 的 差异 (Overvliet & Krampe, 2018)， 还 有 可 能 是 触觉 识 
别 形 状 的 能 力 随 着 年 龄 的 增长 而 增加 (Mazella et al, 2018)。 对 触觉 识别 二 维 图 像 能 力 的 发 展 
心理 学 研究 将 有 助 于 进一步 认识 触 知觉 的 认 知 机 制 , 并 为 训练 和 培养 儿童 视 障 者 的 触 知觉 能 
力 提 供 理论 指导 和 建议 。 
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Transformation in Haptic Recognition of 2D Images 
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Abstract: Two-dimensional (2D) tangible image is an important alternative way for visually 
impaired people to obtain image information. Most existing tactile 2D images are tangible line 
drawings directly transformed from visual 2D images. The expression of spatial information in the 
visual 2D images usually follows principles of perspective and viewpoint transforming three- 
dimensional (3D) space into 2D planar. The mapping from 2D image to 3D space in visual system 
is learned through long-time perceptual learning. However, it still needs further exploration about 
cognitive mechanisms of 2D-to-3D spatial information transformation established by haptic system 
in haptic recognition of 2D images. The visual factors that affect 2D to 3D spatial information 
transformation in haptic recognition of 2D images mainly include perspective, viewpoint, occlusion, 
texture gradient, and hollow-out. When directly transforming 2D visual images into 2D tactile 
images, the visual factors mentioned above usually interfere with tactile recognition. Based on the 
findings of existing research, a dual-imagery processing model is proposed to explain the 
mechanisms of 2D-to-3D spatial information transformation by touching 2D tangible images. 
According to the model, haptic recognition of 2D images depends on the integration of two imagery 
systems, i.e., the object imagery system concerning about the size, shape, and texture features of an 
object, and the spatial imagery system concerning about the spatial relationship of the object 
following perspective and viewpoint principles. The successful integration of information from the 


two imagery systems requires the match between the object imagery to the spatial imagery based 
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on the mapping of 2D image to 3D space. Dual-imagery processing model could contribute to the 
further exploration of haptic recognition and related cognitive mechanism, and provide theoretical 
guidance for the design of 2D tangible images. 


Keywords: haptics, two-dimensional image, haptic recognition, perspective, viewpoint 


